强化学习 · 第五章 · 专题动画
从一套
算法
到一页
纸
算法讲完了,但「会做题」和「记住主干」是两件事。这一章不新增概念,只把整篇笔记
压成一页纸
,标出十个坑,再用七道题一个个戳破。
① 七问速答
② 公式速查
③ 十个误区
④ 七道自测
⑤ 三句话
一句话
这一章不提新算法,只做三件事:
压缩
、
纠错
、
自测
。
MDP · 一页纸
5 行 · 7 问 · 10 坑 · 7 题
1
问题
M = ⟨S, A, P, R, γ⟩
2
目标
G
t
= r
t
+ γG
t+1
3
评价
V
π
= R
π
+ γP
π
V
π
4
求解
V
*
= max
a
[ R + γΣ
s′
P V
*
]
5
收敛
‖TU − TV‖
∞
≤ γ‖U − V‖
∞
05.1 · 一页纸总结 · 七问速答(上)
定义、结构、目标、评价
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
Q1
MDP 是什么?
用
⟨S, A, P, R, γ⟩
描述的序贯决策问题:动作影响转移,转移决定奖励,奖励按 γ 折现累加。
定义
Q2
为什么可以只看当前状态?
马尔可夫性
:当前状态是历史的充分统计量;给定它之后,更早的历史不再提供关于未来的额外信息。
结构
Q3
学习目标是什么?
找一个策略 π,使期望折扣回报
𝔼
π
[Σγ
t
r
t
]
最大——评价对象是
策略
,不是单个动作。
目标
Q4
如何评价一个策略?
贝尔曼期望方程
V
π
= R
π
+ γP
π
V
π
:线性方程组,有唯一解,也可迭代求解。
评价
上半张
前四问只做一件事:把「问题、结构、目标、评价」四块板钉死,
不许含糊
。
05.2 · 一页纸总结 · 七问速答(下)
求解、数据、收敛,最后串成一条链
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
Q5
如何找最优策略?
贝尔曼最优方程
:把策略平均换成
max
;解出 V
*
或 Q
*
再取贪心,值迭代与策略迭代是两条标准路径。
求解
Q6
模型未知怎么办?
用
采样
代替期望:MC 用整条回报,TD 用一步自举,Q-Learning 用 max 目标,策略梯度直接优化 π。
数据
Q7
为什么迭代能收敛?
贝尔曼算子是
γ-压缩
:不动点存在且唯一,误差按 γ
k
几何衰减。
收敛
定义问题
M = ⟨S,A,P,R,γ⟩
→
定义目标
G
t
= r
t
+ γG
t+1
→
变成可算
V
π
, Q
π
→
递归结构
贝尔曼方程
→
只差求解
π
*
左边五元组
定义问题
,中间的递归
定义目标
,价值函数把目标变成可计算的量,贝尔曼方程给出递归结构;
求解算法只负责「怎么解这个方程」
。
05.3 · 一页纸的背面 · 公式速查
八格公式,加两条工程常用
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
01
折扣回报
G
t
= Σ
k≥0
γ
k
r
t+k
定义「一条轨迹有多好」
02
回报递归
G
t
= r
t
+ γG
t+1
所有递归算法的源头
03
状态价值
V
π
(s) = 𝔼
π
[G
t
| s
t
=s]
评价「处于 s 有多好」
04
动作价值
Q
π
(s,a) = 𝔼
π
[G
t
| s,a]
评价「在 s 做 a 有多好」
05
V–Q 关系
V
π
(s) = Σ
a
π(a|s)Q
π
(s,a)
策略加权平均
06
贝尔曼期望
V
π
= R
π
+ γP
π
V
π
策略评估的方程
07
贝尔曼最优
V
*
= max
a
[R + γΣ
s′
PV
*
]
求最优价值
08
压缩性
‖TU − TV‖
∞
≤ γ‖U − V‖
∞
收敛性与唯一性
TD 误差
δ
t
= r
t
+ γV(s
t+1
) − V(s
t
)
一步预测差多少
Q-Learning
Q ← Q + α[r + γ max
a
Q(s′,a) − Q]
异策略控制
用法
七问记逻辑,这张卡记形状:
写代码时对着它抄
,比背定义靠谱。
05.4 · 常见误区总表(一)
五句话,五处悄悄跑偏
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
01
把奖励 r
t
当成回报 G
t
错
奖励是单步标量;回报是整条轨迹的折扣和,是
随机变量
;价值才是回报的期望。
02
用 V
π
直接做策略改进
错
V
π
已把动作按 π 平均掉了;比较动作必须用
Q
π
,或借模型现算一步。
03
贝尔曼方程里漏掉 γ
错
漏乘 γ 等于把未来与现在等价:价值被
系统性高估
,γ = 1 时还可能发散。
04
马尔可夫性 = 未来与过去完全无关
错
是「
给定现在后条件独立
」;过去仍通过当前状态间接影响未来,只是不再提供新信息。
05
马尔可夫性 = 过程确定
错
它只约束
依赖结构
,不约束随机性;转移完全可以随机。
共同点
前五个错都出在
概念边界
:奖励 / 回报 / 价值三件套,V 与 Q 的分工,γ 的作用,马尔可夫性的确切含义。
05.5 · 常见误区总表(二)
后五句话里,有两条只是半对
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
06
状态怎么定义都满足马尔可夫性
错
只记位置不记速度,过程就不再马氏;
状态设计是建模的核心工作
,不是实现细节。
07
在期望方程里把 V
π
写成 V
*
错
V
π
依赖具体策略,V
*
是所有策略的
上界
;一字之差,问题被悄悄换掉。
08
γ 越大越好(越有远见)
半对
有效视野
1/(1−γ)
变长、收敛变慢、方差变大,需与决策周期匹配。
09
无模型方法就不需要 MDP 建模
错
状态、动作、奖励仍要定义清楚;无模型只是
不显式估计 P
,不等于不建模。
10
价值收敛 = 学到最优策略
半对
表格型、充分探索时成立;探索不足、函数逼近或分布偏移时,可能收敛到
次优
。
统计口径:
十条里
8
条全错、
2
条半对——没有一条是「稍微不准」,每一条都会直接把答案改掉。
05.6 · 自测(一)
盖上答案:马尔可夫性,与那个两状态算例
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
Q1 / 07
「马尔可夫性意味着未来与过去独立」,这句话对吗?
不对
正确说法是「
给定当前状态后,未来与更早的历史条件独立
」。
过去仍然通过当前状态影响未来,只是不再提供额外信息;当成完全独立,就会误以为状态可以随便定义。
Q2 / 07
两状态:s₁ 必到 s₂ 且 r = 0;s₂ 以 0.5 回 s₁、0.5 停留,r = 1;γ = 0.9。求 V(s₁)、V(s₂)。
①
V(s₁) = 0.9 V(s₂)
②
V(s₂) = 1 + 0.9 [ 0.5 V(s₁) + 0.5 V(s₂) ]
代入
V(s₂) = 1 + 0.855 V(s₂)
移项
0.145 V(s₂) = 1
V(s₂) = 200/29 ≈ 6.8966 V(s₁) = 180/29 ≈ 6.2069
验算:1 + 0.45 × (6.2069 + 6.8966) = 6.8966 ✓ 不动点回落
s₁
s₂
必达 · r = 0
0.5 · r = 1
0.5
γ = 0.9 · 奖励只在 s₂
自测法
先列方程、再代回验算:只要代回后不等,就说明
代入或移项
错了,不必重推整题。
05.7 · 自测(二)
V 的局限、γ = 1 的风险、有无模型的分界
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
Q3 / 07
已经知道 V
π
,为什么不能直接用它做策略改进?
因为 V
π
(s) 已经把动作按 π
平均掉了
,看不到「换一个动作会怎样」。
要比较动作,必须用
Q
π
(s,a)
;若只有 V
π
,就借模型现算
R(s,a) + γΣ
s′
P V
π
(s′)
。
这也是 Q-Learning 直接学 Q 的原因。
Q4 / 07
γ = 1 时,贝尔曼迭代一定收敛吗?
不一定。
压缩性消失,I − P
π
可能奇异,解可能不唯一。
若存在不终止的正奖励回路,价值还会
发散
。
补救:有限时域、吸收态与终止条件,或改用平均奖励准则。
Q5 / 07
有模型与无模型的本质区别是什么?
区别只在「
期望怎么算
」。
有模型:对 s′ 求和(全枚举);无模型:用实际转移的样本求平均。
自举、探索、样本效率这些差异,都由此派生。
它和「用不用神经网络」
无关
。
第六问
把这三题答顺,
V 与 Q 的分工
、
压缩性的前提
、
求和与采样的分界
就同时过关了。
05.8 · 自测(三)
两条迭代的关系,与「有效视野」的算法
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
Q6 / 07
值迭代与策略迭代是什么关系?
值迭代
= 把策略评估截断为一次最优备份,再隐含地做一次改进。
策略迭代
= 把评估做到收敛(或足够精度),再做一次完整改进。
两者都是广义策略迭代的特例,中间还有「截断策略迭代」的连续谱系。
Q7 / 07
γ = 0.9 时,有效视野大约是多少步?
视野
1 / (1 − γ) = 1 / 0.1 =
10 步
十步之后,权重只剩 0.9
10
≈
0.35
,再往后迅速可忽略。
所以「有效视野」说的是
参与优化的步数
,不是硬截断。
k=0
k=10
≈ 0.35
γ
k
的衰减:第 10 步只剩三成半
1
2
3
4
5
6
7
七题全过,说明
定义、评价、求解、收敛、视野
都在手里了。
用法
答不出来的题,
回到对应那一章重看
,比从头通读一遍划算得多。
05.9 · 如果只记三句话
把整章,收成三句能背下来的话
① 七问
›
② 速查卡
›
③ 误区
›
④ 自测
›
⑤ 三句话
1
MDP 是五元组定义的序贯决策问题
马尔可夫性让「当前状态」成为历史的充分统计量,这是
全部递归算法的前提
。
2
目标由折扣回报定义,评价由价值函数完成
二者靠恒等式
G
t
= r
t
+ γG
t+1
连接;
期望方程与最优方程,只是这条恒等式的两种用法。
3
求解的分水岭,在「期望怎么算」
能对模型求和 →
动态规划
;只能采样 →
强化学习
;
而无论哪条路,收敛的底气都来自 γ-压缩。
先把五元组和贝尔曼方程写对,
再谈算法
01
一次选择
→
02
一条轨迹
→
03
一组方程
→
04
一套算法
→
05
一页纸 · 本章
MDP 基础专题 · 五章完结
→
下一站:算法专题与深度强化学习
片尾 · 出品说明
朝露记
强化学习 · 第五章 · 专题动画
朝露记
出品
内容梳理
讲解配音
动画编排
第五章 · 完
下一站 · 算法专题与深度强化学习
解
00:00 / 17:23
1×
配音 开
全屏
空格 播放/暂停 ← → 切幕 R 重播 1–0 跳转
点击开启配音